【Hadoop】——JavaAPI操作
Haoop Java API操作
十亿条数据需要每天计算怎么办?Spark快速入门
spark快速入门,解决亿级数据计算问题
现代数据环境下,如何做数据集成?这11个靠谱实践收藏了
现代数据环境下,如何做数据集成?这11个靠谱实践收藏了
HBase集群搭建(一)
1.准备三台机器 centos7安装步骤 略( 可以看我的 虚拟机安装 centos7 文章)2.配置免秘钥访问略(可以看我的免秘钥配置文章)3.JKD 安装1.8略4.下载 HBasehttps://hbase.apache.org/downloads.html5.安装tar -zxvf hbas
什么是大数据?
本文从七个部分阐述大数据分析,包括:背景、定义、意义、挑战及未来趋势以及市场等部分。
搭建Hadoop集群(超详细版)
搭建Hadoop集群
Hadoop分布式搭建
1.Hadoop官网下载3.1.2网址 http://hadoop.apache.org/https://archive.apache.org/dist/hadoop/common/hadoop-3.1.2/2.准备三台机器(本教程使用的虚拟机)centos 7 安装教程可以看我的这篇https:/
大数据之在Liunx中安装MySQL
大数据之 Linux MySQL安装教程
Hadoop分布式集群的安装(图解)
搭建是学习大数据的基础,大家一定要好好的搭建,可以试着多搭建几遍
大数据高级开发工程师——工作流调度器Azkaban(1)
文章目录工作流调度器AzkabanAzkaban介绍为什么需要工作流调度系统工作流调度实现方式Azkaban简介Azkaban架构Azkaban基本架构Azkaban架构的三种运行模式1. solo server mode(单机模式)2. two server mode3. multiple exe
从Hadoop框架讨论大数据生态
乾坤未定,你我仍需砥砺前行。一是,二知,三版,四高,与吾皆有关。
大数据高级开发工程师——大数据相关工具之一 Sqoop
文章目录数据导入导出工具Sqoop ETL工具Sqoop简介Sqoop1与Sqoop2架构对比Sqoop安装部署Sqoop的数据导入1. 列出所有数据库2. 准备表数据3. 导入数据库表数据到HDFS4. 导入到HDFS指定目录5. 导入到hdfs指定目录并指定字段之间的分隔符6. 导入关系表到HI
华中师范大学 -技术类-- 导师信息
程增照程靓影研究方向: 计算机视觉、人工智能、人机交互、机器学习、特殊儿童教育。研究成果主要包括:表情识别、头部姿态与视线跟踪、多模态信息识别与融合、人机交互智能学习系统。教育与研究经历: 1996年本科毕业于华中科技大学电子与信息工程系,1998年硕士毕业于华中科技大学图像处理与人工智能研究所,随
2022届安防展观展体会
非常感谢公司提供的机会,让我能够有这样的机会参观这场技术和产品的饕餮盛宴。半天多的时间,能够非常近距离接触友商,客户,以及处于产业链不同环节的公司和它们的产品,让我获益良多。这里对我个人的观展记录进行总结和分享。我观展的主题围绕AI在产品中的应用落地进行,下面分别从AI的应用场景,芯片算法,软件技术
Kafka的生产者与消费者机制+分区策略你这还不懂?
什么是KafkaKafka是最初由Linkedin公司开发,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目,也是一个开源【分布式流处理平台】,由Scala和Java编写,(也当做MQ系统,但不是纯粹的消息系统)目前 Kafka 已经定位为一个分布式流式处理平台,它以高吞吐、
达摩院年终预测出炉:2022 十大科技趋势,AI for Science 高居榜首
2022 年科技将如何发展?这是达摩院给出的答案。
Spark统计一座城市的男女人数,以及男女消费额的最高与最低
Spark统计一座城市的总人数,男女人数,总消费额,人均消费额,以及男女消费额的最高与最低
PageRank算法的MapReduce实现(输入有向图,迭代收敛)
输入为网页有向图的邻接表:通过统计输入文件的行数,即可得之网页总数为4每个网页的初值为1/N,即0.25第一行输入经过map处理后,得到如下结果:B 0.0833C 0.0833D 0.0833同理,第二三四行经过map处理后,得到:A 0.125D 0.125C 0.25B 0.125C 0.12
大数据高级开发工程师——数据采集框架Flume(1)
文章目录数据采集框架FlumeFlume基本介绍概述运行机制Flume采集系统结构图1. 简单结构2. 复杂结构Flume实战案例采集网络端口数据1. Flume的安装部署2. 开发配置文件3. 启动4. 使用 telnet 测试采集目录到HDFS1. 需求分析2. 开发配置文件3. 启动&
史上最简单的 Elasticsearch 教程
史上最简单的Elasticsearch 系列课程